package com.caidan.search.utils;

import cn.hutool.core.util.StrUtil;
import com.caidan.model.domain.result.WebResult;
import com.github.houbb.sensitive.word.core.SensitiveWordHelper;
import jodd.io.StreamUtil;
import org.springframework.stereotype.Component;

/**
 * @项目名 CaiDanSearchSystem
 * @描述 文件清洗后端代码
 * @作者 小菜蛋
 * @时间 2024/12/4 17:20
 */

public class WebResultClearUtils {
    // 返回清洗
    public static boolean clear(WebResult webResult) {
        //        OSeasy
        // 空值校验
        if (selfCheckIsNull(webResult)) {
            return false;
        }
//        敏感网址校验


        // 敏感词校验
        boolean contains = SensitiveWordHelper.contains(webResult.getDescription());
        if (contains) {
            return false;
        }
        // 内容校验

        // 广告校验

        return true;
    }

    private static boolean selfCheckIsNull(WebResult webResult) {
        if (StrUtil.isBlank(webResult.getDescription()) || webResult.getDescription().equals("N/A")) {
            return true;
        }
        if (StrUtil.isBlank(webResult.getUrl())) {
            return true;
        }
        if (StrUtil.isBlank(webResult.getTitle())) {
            return true;
        }
        return false;
    }
}
